『Data Uploader』で実践！ファイルアップロード(Windowsローカル環境下の動画ファイルをAmazon S3にアップロード) #データ統合基盤 #CSアナリティクス

「カスタマーストーリー」を支えるツール特集

#CSA: Data Uploader

#ビジネス

#クラスメソッド

しんや

2020.12.14

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

当エントリは『クラスメソッド CSアナリティクス Advent Calendar 2020』14日目のエントリです。

当エントリでは、クラスメソッドが展開しているデータ統合基盤サービス『CSアナリティクス』(以降"CSA")のプロダクト群を用いて『任意のデータソースからファイルを取得し、そのまま任意のクラウドストレージにファイルをアップロードする』一連の流れを作り上げる流れについて説明します。

「ファイルアップロードジョブ」とは

CSA Data Uploaderでは、作成出来る「ジョブの定義」に幾つかパターンが存在します。当エントリで紹介するのはその中の「ファイルアップロード」というジョブです。

このジョブは『任意の場所にあるファイルを取得して、そのまま任意のクラウドストレージにファイルをアップロード』するというケースを実現するためのジョブタイプです。ジョブ作成時に『入力』『出力』の処理パートが用意され、それぞれのパートで必要な処理を画面UI経由で設定します。先日公開した「データアップロードジョブ」とは以下の点が異なります。「所定の場所にあるファイルをそのままアップロードさせたい」という場合にちょうど良いタイプのものとなっています。また、変換処理が要らないので、CSV等の「データ」に関するものでは無く、任意の形式をアップロードするというようなケースにも利用出来ます。

ファイルアップロードには「変換」処理が存在しない
ファイルアップロードで入力データソースとして指定出来るのは「ファイル」ベースのもののみに限定される

当エントリで実践する内容

当エントリでは、以下の処理を経てファイルをアップロードする流れをCSA Data Uploaderで実践してみます。『データでは無く、ファイルをアップロード出来る』ということを確認するために、ここでは敢えて『動画ファイル』をアップロードしてみることにしました。CSA Data Uploaderをシンプルな『ファイルアップロードツール』としても使えますよ、という感じです。

入力：Windowの配下に存在する任意の動画ファイルを入力データソースとして取得
出力：抽出・変換したデータをAmazon S3に任意の形式でファイルとしてアップロード

CSA Data Uploader ファイルアップロード実践

入力処理の作成:対象ファイルの指定

まずは入力ファイルの準備。今回はローカル環境にある動画ファイルということで、こんな感じでファイルを1個用意してみました。容量は3GB無いくらい、それなりなサイズのものとなっています。

CSA Data Uploaderのジョブ一覧画面にて[ジョブを作成]を押下、ジョブ種別に『ファイルアップロード』を指定する形でジョブを作成します。

ジョブの枠が出来ました。データアップロードジョブとは異なり、真ん中にあった『変換処理』の枠がファイルアップロードでは存在していません。

入力指定で種別に[ローカル接続]を指定。

以下のような形で入力ファイルを指定します。指定方法に関してはデータアップロードジョブで行ったものと同じです。

出力処理の作成:Amazon S3へアップロード

次いで『出力処理』を作成します。今回はアップロード先にS3を指定してみます。

S3接続名以下の設定内容についても、ここまで紹介してきた『データアップロード』で説明してきたものと同じです。今回はシステム日付で当日の値を割り出し、フォルダ構成に組み込む形を指定してみました。

これで一連のジョブ設定が出来上がりました。

ファイルアップロードジョブの実行＆内容確認

作成したジョブを早速実行してみます(即時実行指定)。

実行後暫くして処理が完了しました。処理時間については、Data Uploaderが導入されているネットワーク環境にも拠るところがあるかと思います。

合わせて実行ログも確認しています。開始終了時間と『どのファイルをどこに上げたか』が分かるようになっています。

アップロード対象のS3バケットの内容も確認してみます。ちゃんとアップロード出来ていることが確認出来ました。

まとめ

という訳で、『クラスメソッド CSアナリティクス Advent Calendar 2020』14本目のエントリ、CSA Data Uploaderで「ファイルアップロードジョブ」(任意の入力と出力を一連の処理として定義したもの)を作成・実行する手順の紹介でした。CSA Data Uploaderは1ヶ月間のトライアル利用が可能となっています。興味をお持ち頂いた方は是非無料版ダウンロードページからインストーラを入手頂き、お試し頂けますと幸いです。

では、明日(14日目)のエントリもお楽しみに！